Local Support Learning
局部支持学习：无需旧数据的持续学习与遗忘缓解
🧭 持续学习 · 灾难性遗忘缓解
Tel Aviv University · MIT CSAIL
提出 Local Support Learning，用 GMM 门控使 adapter 只在当前分布激活，无需旧数据缓解大模型灾难性遗忘
📌 工作参考价值（4 点）
- 对线上推荐/搜索模型做持续增量更新时，可用 LSL 的 adapter + GMM gate 结构：每个新数据周期训练新 adapter，gate 让 adapter 只在当前数据分布上激活，旧分布数据自动路由到原始权重，无需回放旧数据即可缓解遗忘。
- GMM 门控比普通 MLP classifier 更适合 OOD 拒绝，因其似然在训练分布外快速衰减。在推荐系统多任务/多领域路由中可借鉴：为每个领域/任务建 GMM 门控，实现软路由与分布漂移检测。
- 方法内存和计算高效，支持 7B 参数模型，可迁移到生成式推荐（如 Semantic ID 生成）的持续学习场景：新类目上线时只增加局部 adapter，不破坏旧类目生成能力。
- 工程实现上，GMM 的均值/方差可流式更新或 EMA 维护，避免存储原始激活，适合实时更新的推荐系统。